IQuest-Q1：面向 Agentic CLI 系统的稀疏 MoE 基础模型
🧭 Agentic LLM 训练 · MoE 与多阶段后训练
IQuest Research
320B 稀疏 MoE 模型，通过多阶段训练和模型合并强化 CLI agent 编码能力
📌 工作参考价值（4 点）
- 稀疏 MoE 架构（320B 总参、15B 激活）在保持大模型容量的同时控制推理成本，适合需要实时响应的搜索/推荐 Agent 场景，可参考其专家路由设计，减少线上 latency。
- 多 scaffold + 多版本后训练策略（SFT + 领域 RL + MOPD 跨多种脚手架）能整合互补训练信号，在电商 Agent 中可借鉴：针对商品知识、会话策略、API 调用等不同子任务分别设计 scaffold 和奖励，再合并训练，提升整体鲁棒性。
- 模型合并技术（merge 不同 expert 和 checkpoint 并缓解参数冲突）可直接迁移到多任务推荐模型融合，例如把单品推荐、query 改写、对话策略等专家模型合并为统一模型，降低维护成本。
- 两阶段课程学习先通用后增加 coding 数据，可用于垂直领域 LLM 微调：先在大规模通用语料上稳定训练，再逐步增加电商/广告领域数据，避免灾难性遗忘。
WeAct：动态权重切换作为 Agent 动作
🧭 Agent 模块化 LoRA 动态切换与持续学习 ★ 深度解读
Carnegie Mellon University · Duke University · Meta MSL
把 LoRA 适配器切换做成 Agent 原生工具调用，冻结主干独立训练 Plan/Search/Writing 模块，在 deep-research 任务上超越全参微调和静态合并
📌 工作参考价值（4 点）
- 把流程阶段拆成可独立训练、可工具调用的 LoRA：电商/搜索 Agent 可将意图规划、商品检索、参数对比、文案生成等阶段分别训成 Plan/Search/Write 类 adapter，通过 load_lora/offload_lora 工具调用按需切换；新增能力只需注册新 adapter，不动已有链路。
- 运行时选择优于静态合并：论文显示 TIES/DARE-TIES/TSPA 等静态 LoRA 合并均导致专业化损失，甚至在无 rank 压缩下也有局部 mismatch。业务中若已有多能力 LoRA，建议保留独立 adapter 并在推理时切换，而非合并成一个固定权重。
- 工程实现复用原生 tool-calling 接口：用 MCP 工具注册权重切换动作，不需要单独训练 router 或改造 forward pass；adapter 常驻 GPU，切换时重建 KV cache，控制开销仅占 soft/hard 总时间的 8.2%/2.8%。
- 模块化持续学习可落地到频繁迭代的环节：只刷新 Writing adapter 即可提升报告质量，backbone 和其他 adapter 保持不变，无需回放历史数据；适合在商品文案生成、搜索 query 改写等单一能力上做局部优化而不污染整体。
免训练的 On-Policy 蒸馏
🧭 无训练模型蒸馏与多专家聚合
University of Illinois at Urbana-Champaign · Tsinghua University
提出免训练 on-policy 蒸馏，仅用前向传播和最小二乘逐层合并多个专家模型，无需梯度更新
📌 工作参考价值（4 点）
- 多领域专家模型合并：若业务中有多个针对不同场景（如推荐、搜索、广告）微调的模型，可借鉴 TF-OPD 通过前向计算几百个 rollout 提取输入二阶矩，逐层最小二乘融合，无需联合训练，节省算力和迭代时间。
- 模型融合的精度提升：相比简单 task arithmetic 权重平均，逐层最小二乘匹配专家输出分布能保留更多能力；在推荐模型做多目标融合或跨域迁移时可引入此方法提升融合质量。
- 数据筛选策略：论文发现去除重复循环的生成 token 显著提升融合效果（AIME25 从 task arithmetic 水平到专家水平），提示在蒸馏或融合数据准备中应重点清洗低质量重复内容，避免噪声影响层权重估计。
- 工程部署：融合只需每专家数 GPU 小时的前向计算，适合快速将多个专家模型合并为通用模型上线，尤其适用于需要频繁更新多领域能力的 Agent 或推荐系统。
RecSoup：面向可控多目标推荐的高效模型合并方法
🧭 多目标推荐 · 模型合并 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China
RecSoup 通过剪枝消解跨目标干扰并学习偏好到合并系数的映射，实现推理时可控多目标推荐，较参数生成提速 165–228 倍
📌 工作参考价值（4 点）
- 模型合并复用已有目标 specialists：工业推荐系统常有多目标模型（如点击、转化、时长、多样性），可离线训练多个单目标专家后，用剪枝+轻量 gating 网络做推理时融合，无需重训全量模型，部署成本低；相比 hypernetwork 生成参数，推理延迟降低 165–228×，适合高 QPS 在线服务。
- 剪枝标准可迁移：将 objective-specific importance 与 cross-objective relevance 结合，用 |τ_i,j * mean_{k≠i} τ_k,j| 保留方向冲突但耦合强的参数，避免因符号不同误删关键权重；该思路可复用于多任务模型合并、LoRA 专家合并、多场景参数融合中的冲突消解。
- 偏好到合并系数用可学习 MLP 而非直接使用偏好向量：业务中多个目标不同尺度/非线性交互时，直接加权效果差；可固定专家参数只更新 gating 网络，用少量样本即可训练，便于在线通过调整 preference weights 切换业务目标（如大促期间提高转化、日常提高多样性）。
- 剪枝保留比例 ρ 在 0.9–0.95 时实际保留 40–70% 参数即可，剪枝不一定总是有益：当任务向量干扰弱时可不剪枝；可将其作为超参或根据专家间重叠度决定是否启用，避免过度稀疏化损失目标信号。
Latent-MOPD：隐空间多教师在线蒸馏
🧭 多教师在线蒸馏与表示对齐 ★ 深度解读
Case Western Reserve University · Zillow Group, Inc. · University of Illinois at Chicago · University of Florida
首个表示级多教师在线蒸馏方法，通过路由晚期隐藏状态对齐和逐教师 crossfade 融合多专家能力
📌 工作参考价值（4 点）
- 多领域模型融合时，不要只蒸馏输出分布：在 token-level OPD 基础上增加学生与路由专家的 late-layer hidden states 对齐，能保留专家内部推理信息；电商搜索/推荐/广告多场景 teacher 融合可复用这一思路，避免简单平均 logits 稀释专家置信度。
- 当学生与教师 hidden width 不同，用一个共享线性投影（或小 MLP）桥接，并用少量 student-teacher 状态对做 ridge 回归初始化投影，能降低训练不稳；业务中不同尺寸 CTR/CVR 或生成式推荐模型合并时可直接借鉴。
- 多专家训练时务必保持 domain-pure batches：同一 optimizer step 混入多个 teacher 的表示监督会导致表示 collapse，论文中 interleaved 更新使 MATH-500 从 91.7 掉到 9.8；多场景推荐/Agent 能力融合应按场景分组更新。
- 每个 teacher 使用独立 crossfade 时钟：前期表示监督、后期 token 蒸馏，能稳定多专家训练；若多个 teacher 同源同架构，可先用参数平均（model soup）作为学生初始化，再做少量在线蒸馏，电商多领域模型合并有直接参考价值。
ACLArena：多阶段后训练中的 Agent 持续学习
🧭 Agent 多阶段后训练与持续学习 ★ 深度解读
University of California, Los Angeles · University of California, Santa Cruz
构建多阶段 Agent 后训练基准，诊断遗忘机制并融合 SDFT 与 LoRA-RL 专家路由，缓解跨阶段能力遗忘
📌 工作参考价值（4 点）
- 做多阶段 agent 训练（如搜索问答、电商客服、工具调用）时，先 SFT 冷启动任务接口与行为格式，再用 RL/蒸馏精化；不要用 SFT 恢复旧能力，其参数更新幅度是 RL 的 3-7 倍，容易覆盖相邻阶段能力。
- 多教师 on-policy 蒸馏可采用 MOPD：对低熵 token 用 reverse KL 精确模仿，对高熵决策 token（选 query、工具调用）切换 forward KL 并 top-q 截断，能避免 agentic 任务中熵坍塌和训练发散；多域 teacher 按 domain tag 路由，不要平均 logits。
- 多领域电商/搜索 agent 可采用 MLE 架构：共享一个 SDFT 主干，每个领域（搜索、交易、客服）训练独立 LoRA adapter + RL，推理按环境上下文路由；参数隔离减少跨域遗忘，增量成本低、部署统一。
- SDFT 轨迹蒸馏时必须 balanced-mix 而非按数据量随机混，防止高量任务淹没低资源领域；轨迹过滤需检查 final reward、工具调用合法性、协议合规并做近似去重。
DARTS：面向模型合并的解码器感知表征手术调优
🧭 模型合并 · 解码器表征偏差校正
ServiceNow · University of Twente
提出熵加权 L1 与逐位置偏置，解决解码器模型合并后的表征偏差累积问题
📌 工作参考价值（4 点）
- 多任务 LLM 合并部署：如果有商品标题生成、广告文案、搜索 Query 改写等多个 FT/LoRA 模型，DARTS 提供后训练校正路径：合并后用极小参数（0.1%）的逐位置偏置修正 hidden states，避免逐任务部署，降低线上 GPU/显存成本。
- 熵加权对齐思路：在蒸馏、对齐或模型合并时，不要对所有 token 同等对待；对高熵（决策临界）位置加大 L1 回归权重，更直接影响生成质量，可迁移到生成式推荐/文案生成的 loss 设计与难例挖掘。
- 位置相关偏置比线性投影更省参且低延迟：因果 mask 下偏差沿 token 位置累积，用 per-position additive bias 捕捉位置误差，serving 时只是 elementwise add，适合低延迟推理。
- 注意合并模型通常仍弱于任务独立模型，适合对延迟/显存敏感、质量可接受权衡的场景；上线前用业务集做 A/B 验证。
RLVR 多域能力融合范式深度对比
🧭 RLVR 多域融合范式对比 ★ 深度解读
Fudan University · Tencent
系统对比 Merge、Mix RL、MOPD，发现跨域关系决定性能，融合仅重排已有解不扩覆盖
📌 工作参考价值（4 点）
- 多能力 LLM 后训练融合选型：如果线上已有 query 改写、商品文案、Agent 工具调用等分别 RLVR 产出的 LoRA/全参 expert，优先试 Merge/Task Arithmetic，融合成本几乎为 0；但下单前先算 task-vector cosine，IF/Agent 类能力通常与其他域近乎正交，merge 后会掉点，需单独评估或提高权重。
- 如果没有现成 expert 且要训练统一模型，用 Mix RL 成本约为单域 RL 的 0.58-0.67x；数据混合比例不能简单按自然数据量，推理型任务（数学/代码/科学）可以互相增强并适度降低配比，指令遵循/Agent 类缺少正向迁移，必须保证足够的采样占比，否则对应 benchmark 会明显塌陷。
- MOPD 适合已有 domain experts 且要求各域精度不掉、可以接受端到端成本更高的场景；它的收敛快但被 teacher 上限约束，不适合期望超越单专家的场景。
- 融合只提升 pass@1、不扩大解覆盖，对搜索/推荐里首屏 top-1 质量优化有效；若目标是长尾多样性或生成式 item ID 覆盖，需要额外做采样、多样性约束，而不是靠单模型融合。
注入、对齐、恢复：面向无检索文档知识内化的分阶段后训练
🧭 LLM 后训练 · 文档知识内化
Beijing Academy of Artificial Intelligence (BAAI)
提出IAR三阶段后训练框架，将固定文档语料内化为LLM参数知识，兼顾领域QA与通用能力
📌 工作参考价值（4 点）
- 在电商/客服场景需要将商品库、政策文档内化到LLM以支持无检索问答时，可将文档转为多种重构目标（续写、改写、指令条件重建）做注入，比单纯 continued pretraining 更利于后续指令跟随。
- 三阶段分离有效：先注入领域知识，再做答案监督的QA对齐，最后将领域模型与基座指令模型合并恢复通用能力——这种“领域适配+模型合并”模式可直接复用到导购Agent、店铺客服模型，避免灾难性遗忘。
- 若算力受限，LoRA/FAPM 等参数高效方法在部分通用指标上可赢，但 IAR 在领域内化与通用能力平衡上更稳；业务中优先选择 IAR 式全量阶段或混合方案。
- 评估时同时报告领域QA准确率和 IFEval/MMLU 等通用指标，避免只盯领域指标导致通用能力坍塌；业务中应建立类似的领域-通用双维度评测。
基于模型合并的推荐系统慢思考推理高效压缩
🧭 LLM推荐系统推理压缩 · 模型合并 ★ 深度解读
The University of Queensland · Griffith University
首次将模型合并用于慢思考推荐系统的推理压缩，在注意力头粒度选择性注入简洁行为，缩短推理长度最高24.3%且保持准确率
📌 工作参考价值（4 点）
- 可以通过模型合并，在无需重新训练的情况下压缩慢思考推荐模型的冗长推理链，降低线上推理延迟和成本。
- 合并时以注意力头为单位，依据检索关键性、决策忠实度和参数更新敏感度分配合并系数，保护关键推理头，避免精度损失。
- 对于电商/广告推荐中需要复杂用户偏好推理的场景，可以先训练慢思考模型获得高准确率，再通过REAM压缩推理长度，平衡效果与效率。
- 工程实现仅需少量校准数据（如500条）计算头级信号，无需额外梯度更新，可快速部署。
Capek 0.5：以执行为中心的具身视觉语言模型
🧭 执行中心的能力整合与多专才合并训练
XPENG ROBOTICS
提出按执行阶段划分能力分类，通过专才强化学习与权重合并-蒸馏实现统一多模态模型
📌 工作参考价值（3 点）
- 多能力统一模型训练范式：以电商/推荐系统中的多任务（CTR/CVR/搜索相关性）为类比，可先将不同目标视为独立能力，各自训练专才（LoRA或独立头），再通过权重合并（如TIES-Merging）和路由蒸馏，得到一个推理开销低且保留各能力的统一模型，避免多模型部署。
- 可验证奖励驱动的强化学习：在推荐Agent的动作决策（如消息推送时机、优惠券发放）中，可利用规则/仿真环境构造可验证奖励（收益提升、转化率），直接用RL优化LLM策略，减少对人工偏好标注的依赖。
- 能力分类指导系统设计：借鉴“空间推理、时间理解、动作指导、状态验证”的分类，在搜索推荐Agent中显式拆分出“用户意图理解、长短期兴趣建模、item选择、结果验证”等子能力，使数据构造和训练目标更聚焦。
尖锐度感知的模型合并与显著性恢复：面向LLM跨域序列推荐
🧭 生成式跨域推荐 · Sharpness-aware模型合并 ★ 深度解读
Zhejiang University · Hangzhou Dianzi University
提出SharpRec，用平坦最小值对齐和重尾分布恢复解决LLM跨域推荐的参数干扰与性能饱和
📌 工作参考价值（4 点）
- 跨域LoRA合并的“平坦化”训练：在电商多场景（如服饰→美妆）做LoRA微调时，引入sharpness-aware目标（式7），让各域权重主动趋向平坦损失盆地，可大幅减少合并后的负迁移，避免异购场景相互覆盖。
- 后融合非线性重参数化：合并多个领域LoRA后，对聚合参数施加元素级非线性变换（式12）恢复重尾分布，能有效激活被平均化淹没的领域专家特征，适用于多域融合后性能天花板被线性聚合锁定的业务。
- 轻量级实现：SharpRec无需改动推理架构，只需在微调和合并阶段加入SGA正则化和PSA变换，计算开销小，可直接嵌入现有LoRA微调流水线，适合大规模推荐系统快速迭代。
- 鲁棒的非重叠用户场景：在稀疏重叠用户（低至20%）下仍显著优于传统CDSR方法，为电商冷启动或新域扩展提供了更可靠的跨域知识迁移方案。
ISO：一种原生 RLVR 优化栈
🧭 RLVR 训练优化 · 等谱优化
The University of Texas at Austin · UIUC · Emory University · Together AI · Recursive Superintelligence Inc
发现 RLVR 中的谱继承现象，提出等谱优化框架，固定奇异值只优化奇异框架，加速训练与模型合并。
📌 工作参考价值（4 点）
- 加速 Agent 或推理模型微调：借鉴 ISO-Optimizer 将权重矩阵 SVD 后固定奇异值谱，仅优化输入/输出奇异框架，可在电商搜索 Agent 或生成式推荐模型的 RL fine‑tuning 中大幅减少训练步数，快速验证 reward 设计。
- 无数据模型合并：ISO-Merger 能将多个共享基模型的专项模型（如分别擅长意图识别、参数抽取的 Agent 模型）合并为一个固定谱模型，无需任何额外数据或梯度更新，直接产出可部署的聚合模型，降低线上迭代成本。
- 从预训练到 RL 后训练的优化器迁移：可保留基模型的谱结构，仅将标准优化器（如 AdamW）应用于奇异框架，在推荐系统召回或排序模型的后训练场景中，可能获得更稳定、更快的收敛。
- 模型压缩或部署：固定谱意味着模型大部分参数保持静态，可结合低秩更新或量化，适合边缘侧 Agent 或推荐模型的轻量化部署。
重新审视异构大模型合并：加权平均视角
🧭 模型合并 · 异构参数空间加权平均
University of Science and Technology of China
证明通过维度适配和比率控制，无需训练直接加权平均即可有效合并参数量不同的LLM
📌 工作参考价值（4 点）
- 工程上可直接合并不同尺寸的微调模型，无需重新训练，特别适合电商推荐系统中多任务模型的快速融合。
- 使用小比率插值（如0.1）将辅助模型能力注入主模型，例如将对话能力迁移到商品描述生成模型。
- Union-style 扩展或 Intersection-style 截断均为免训练操作，可作为轻量级模型更新方案，部署成本低。
- 注意避免平衡插值，否则性能崩溃；该跷跷板效应提示业务中合并比例需精细 A/B 测试。
当模型合并比肩联合多任务强化学习：任务向量几何分析
🧭 Agent模型合并 · 任务向量几何分析 ★ 深度解读
Aimpoint Digital Labs
合并独立RL专家在AppWorld上匹敌联合多任务RL，因任务向量近正交使精细合并方法退化为均匀平均
📌 工作参考价值（4 点）
- 合并RL Agent的策略选择：若各专家任务向量余弦相似度接近零（<0.1），直接模型平均（如TIES、RAM+等复杂方法）即可达到联合训练效果，无需花费精力调优合并超参。
- 几何诊断工具：定期监控训练中任务向量间的余弦相似度，若持续增长并超过某一阈值（如>0.2），可提前终止训练或启用更强干扰消解合并法；若始终近正交，则可安全使用简单平均。
- 支持度与方向解耦的教训：即使多个LoRA专家修改完全相同模块（支持度高重叠），其参数更新方向仍可能近乎正交。设计合并算法时，不能仅依赖支持度重叠（如RAM）来判别共享与私有知识，应引入方向性指标（如余弦或主子空间对齐）。
- 独立训练再合并的可行性：在电商Agent多技能（如搜索、比价、下单）RL训练中，若数据/环境无法集中，可分别训练专项Agent后用平均合并，几乎不损失组合能力。
通过模型合并提升对话检索中的即席搜索有效性
🧭 对话式检索 · 模型合并
University of Toulouse, IRIT
无需微调，通过参数合并融合即席与对话检索能力，零样本NDCG@3提升最高15%
📌 工作参考价值（4 点）
- 当电商搜索需要同时支持多轮对话与常规即席查询时，可直接合并对话微调模型与基础检索模型，避免重新训练和灾难性遗忘，节省大量资源。
- 使用线性（Model Soup）或球面插值（Slerp）两种合并策略，工程实现简单，可作为多任务模型部署的轻量级方案。
- 在零样本场景下，合并模型对未见过的查询表现出更好泛化性，适合快速应对新领域或冷启动的检索需求。
- 该方法提供了一种模型能力组合的思路，可借鉴用于融合不同业务场景（如推荐与搜索）下的微调模型，提升单一模型的综合表现。
通过分布级奖励优化视觉生成模型
🧭 分布级奖励与RL微调
University of Science and Technology of China · Shanghai Innovation Institute · Hunyuan Frontier Lab, Tencent · National University of Singapore
用分布级奖励替代逐样本奖励以缓解奖励黑客和模式崩塌，并提子集替换策略与RL优化模型合并系数
📌 工作参考价值（4 点）
- 生成式推荐常因逐样本奖励导致多样性坍塌（如仅生成头部商品），可借鉴分布级奖励：在 batch 级别设计奖励，衡量生成结果与真实用户行为分布的匹配（如类目覆盖率、长尾占比），抑制奖励黑客。
- 子集替换策略：在大规模候选集评估时，可动态更新一小部分样本（如 5%）来近似真实分布奖励，降低在线计算开销，适用于推荐模型中的常驻评估集或在线 RL 的 reward normalization。
- RL 优化模型合并系数：对于多目标融合（如点击率、转化率、多样性）的推荐模型，可学习后验合并系数以平衡各奖励项，缓解训练-推理不一致，尤其适合 LoRA 合并或多专家集成。
- 分布对齐视角可迁移到推荐策略的多样性控制：将用户交互分布视为真实分布，通过分布奖励直接优化生成策略的宏观统计属性，避免微观过拟合。
WARP：从权重空间恢复训练数据组合
🧭 权重空间几何分析 · 数据配比推断
University of Wisconsin-Madison
仅凭模型权重即可恢复微调时的领域混合比例，无需训练数据或训练轨迹
📌 工作参考价值（4 点）
- 推断微调推荐模型的数据配方：拿到一个第三方发布的推荐模型（如商品表示模型），可以用 WARP 反推其微调时所用数据集的领域构成（如服饰、电子、家居比例），判断是否偏离我方场景。
- 检测数据泄露与分布漂移：将线上模型与基础模型做权重插值，观察权重空间几何足迹，可快速发现模型是否在敏感数据上做过微调，辅助合规审计。
- 指导增量训练的数据采样：当需要继续微调开源推荐模型时，先恢复其原始训练数据的领域配比，据此调整自己的数据采样策略，避免灾难性遗忘或能力坍缩。
- 简易实现：只需基础模型和微调模型权重：不用访问原始训练数据或中间检查点，仅通过模型融合生成伪检查点，再用几何特征（如权重差向量的角度、长度）和线性映射即可推断，工程成本低。
多任务学习的本质子空间合并
🧭 模型合并 · 本质子空间分解
利用任务更新的低维本质子空间，通过正交化融合和低秩专家路由实现训练无关的多任务模型合并
📌 工作参考价值（3 点）
- 主要是学术贡献，多任务模型合并目前尚未在电商推荐系统中广泛应用，但可借鉴其思想：若需融合多个微调的单任务模型来服务多任务推荐，可尝试只保留任务更新在本质子空间中的成分以降低冲突。
- ESM++ 的低秩专家分解和原型路由思想可参考用于推荐模型的多任务动态参数选择，减少参数冗余。
- 训练无关的静态合并方法可作为快速集成多任务能力的基础工具，例如在试验阶段快速组合多个广告预估模型。
通过可操控模型合并增强多语言推理
🧭 可操控模型合并 · 多语言推理
Beijing University of Posts and Telecommunications · Fudan University · Beihang University · Monash University · Zhongguancun Laboratory
提出可操控模型合并（ST-Merge），用门控交叉注意力动态调整多语言与推理模型的贡献，解决多语言推理中的模型冲突
📌 工作参考价值（4 点）
- 在多语言业务（如跨境电商客服、多语言商品描述生成）中，可通过模型合并将领域模型与推理模型结合，避免独立部署多个模型，降低推理成本。
- 门控交叉注意力机制可迁移至多专家模型集成，例如在推荐系统中融合用户理解模型和知识推理模型，根据请求内容动态分配权重。
- 低资源语言表现提升明显：若业务需快速扩展小语种支持，可借助本方法合并已有高性能模型，减少微调数据需求。
- 模型合并替代 pipeline 调用，能减少延迟与计算开销，适合对实时性要求高的 Agent 推理链路。
多任务模型合并的闭式谱正则化方法
🧭 模型合并 · 谱正则化 ★ 深度解读
Tsinghua University · Sun Yat-sen University · Nanyang Technological University
将模型合并视为带噪线性逆问题，用闭式谱滤波替代迭代优化，加速28-72倍且精度不减
📌 工作参考价值（4 点）
- 多任务模型合并的加速与显存优化：电商推荐系统中常需合并多个专用模型（如CTR、CVR、多目标专家），SWUDI/SWUDI-A 的闭式解可替代 WUDI 的数百步 Adam 迭代，将合并时间从数十分钟降至分钟级，显存占用减少 50%，适合线上快速迭代与多模型部署。
- 噪声抑制的谱截断策略：合并不同任务向量时，小特征值方向会放大代理噪声，硬截断（hard truncation）可以将其直接归零，防止合并时性能退化。这一思路可直接用于推荐场景中合并多个 LoRA 适配器或任务向量，提升多任务融合稳定性。
- 自适应层维秩选择：SWUDI-A 无需手动设置全局秩阈值，利用参与比率平方根规则或 Gavish-Donoho 阈值自动决定每层保留的特征值个数，适配不同架构（视觉/语言/多模态）。在推荐模型中，不同层对任务冲突的敏感度不同，自适应规则能减少调参成本，提高合并鲁棒性。
- 数据无关与测试时适配结合：闭式谱合并结果可与 AdaMerging 等测试时适应方法正交，作为 data-free 初始化进一步提升精度。在 agent 多智体系统中，可先融合专家模型再根据少量在线反馈微调，兼顾效率和效果。
通过合并奖励扰动实现LLM后训练
🧭 LLM后训练 · 权重空间搜索与合并 ★ 深度解读
Technical University of Munich · Munich Center for Machine Learning
在权重空间随机采样扰动后，通过兼容性感知加权合并为一个可部署模型，避免推理时多模型投票
📌 工作参考价值（4 点）
- 直接可用在电商文案生成、对话Agent等有明确奖励信号（如转化率、用户评分）的LLM后训练中：只需采样少量随机扰动，用少量支持集奖励打分，即可通过CoRP合并成一个高质量模型，完全省去梯度计算，适合算力受限的业务场景。
- 合并策略中的兼容性感知重权重（alignment与orthogonal dispersion）可迁移到模型融合场景：当合并多个由同一基座微调得到的推荐模型或Agent时，可先构造奖励加权方向，再根据各模型与该方向的对齐度及正交散度赋权，以压制互斥结构。
- 提出的分半验证门控（held-out validation gate）可用于任何基于采样的模型更新过程，能自动放弃不可靠候选、减少退化，对线上模型迭代的稳定性很重要。
- 发现奖励扰动在低秩子空间存在可复现结构，这为用轻量级LoRA适配代替全量微调提供了依据，可尝试仅在奖励群体主方向所在的低秩子空间内更新参数，降低部署成本。
达尔文家族：MRI可信加权进化合并实现语言模型推理的无训练扩展
🧭 LLM
通过梯度自由的权重空间进化合并，无需训练即可重组已有检查点的潜在能力以提升推理性能